针对基于结构相似性的去色图像质量评估算法没有充分利用图像的梯度特征且采用的对比度相似度特征会忽略图像连续颜色块的一致性导致算法与人类视觉主观判定有较大出入的问题，提出一种基于图像视觉相似性的去色图像质量评估算法--C2G-VSIM。该算法以彩色图像为参考图像，由不同去色算法产生的与之相关的去色灰度图像作为测试图像，对参考图像以及测试图像进行颜色空间转换，并且进行高斯滤波，充分考虑了图像亮度相似度和结构相似度特征，并在此基础上首先引入一种新的颜色一致性对比特征以促使C2G-VSIM对全局颜色对比度特征进行捕捉，其次引入梯度幅值特征至C2G-VSIM中以提高算法对图像梯度特征的敏感度，最后联合得到图像质量评估因子C2G-VSIM。在Cadík的数据集上的实验结果表明，C2G-VSIM与人类视觉主观评定的等级相关性在准确度和主观评判喜爱度上分别达到了0.8155和0.7634，相对于基于彩色图和灰度图的结构相似性（C2G-SSIM）评估算法在未增加较大耗时的情况下，准确度有明显提高。所提算法与人类视觉主观判定具有较高的一致性，且计算简单，在实际工程中能大规模且有效地对去色图像进行自动化评分。